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Bijiagen: 


Geachte mevrouw Van Zanen-Nieberg, 

Onder verwijzing naar de Dienstverieningsovereenkomst-ARVODi 2014 met kenmerk 
201500123.040.011 inzake het Onderzoek naar het kwaiiteitsbeheersingssysteem ADR, ontvangt u 
hierbij onze rapportage naar aanieiding van de werkzaamheden in fase ii van dit onderzoek. Ease ii 
betreft de beoordeiing van het bestaan en de werking van het steisei van kwaiiteitsbeheersing. in 
fase i is de beoordeiing van de opzet van het steisei van kwaiiteitsbeheersing aan de orde geweest. 

Deze rapportage kent de voigende inhoud: 

1. Leeswijzer 

2. Samenvatting en conciusies 

3. De context van het onderzoek 

4. Toeiichting op de bevindingen 

5. Nadere anaiyse van de bevindingen 

6. Enkeie aanbeveiingen 

7. Toeiichting op het onderzoek 

8. Afsiuiting 


1. Leeswijzer 

in hoofdstuk 2 zijn de samenvatting en conciusie naar aanieiding van onze werkzaamheden 
opgenomen. Wij beschrijven in hoofdstuk 3 de context waarin de uitkomsten van het onderzoek 
dienen te worden gepiaatst. Eioofdstuk 4 bevat een overzicht van de beiangrijkste bevindingen en 
observaties, die in hoofdstuk 5 nader worden geanaiyseerd naar herkomst, in hoofdstuk 6 geven wij 
enkeie aanbeveiingen aan de opdrachtgever, in hoofdstuk 7 is een toeiichting opgenomen op de 
werkzaamheden die tot onze conciusie hebben geieid. 
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Daarbij besteden wij onder meer aandacht aan het doel en het normenkader dat wij hebben 
gehanteerd alsmede aan de reikwijdte van het onderzoek. Hoofdstuk 8 bevat onze afsluitende 
opmerkingen. 


2. Samenvatting en conclusies 

2.1 Inleiding 

De algemeen directeur van de Auditdienst Rijk (hierna: ADR) heeft ons in het voorjaar van 2015 
verzocht om een onderzoek te doen naar de opzet, het bestaan en de werking van het stelsel van 
kwaliteitsbeheersing dat de ADR heeft ingericht voor de opdrachten die zij uitvoert. 

Sinds het begin van de 21eeuw staat de kwaliteit van auditwerkzaamheden in de schijnwerpers. 

Dit geldt vooral voor de auditwerkzaamheden die in een marktomgeving worden uitgevoerd, de 
zogeheten openbare auditpraktijk. Opvattingen en regelgeving over auditkwaliteit zijn sterk in 
beweging, niet in de laatste plaats vanwege een intensief, streng en onafhankelijk toezicht op 
kwaliteit in de openbare praktijk zoals dat sinds 2007 bestaat. Openbare accountants trekken tot op 
de dag van vandaag belangrijke lessen uit dit toezicht. Ook wordt de kwaliteitsregelgeving telkens 
verder aangescherpt. 

De wijze waarop het externe toezicht op de kwaliteit van de auditwerkzaamheden van de ADR is 
geregeld, wijkt echter af van het toezicht op de openbare praktijk. Ons onderzoek naar opzet, 
bestaan en werking van het huidige stelsel van kwaliteitsbeheersing van de ADR vindt plaats in 
opdracht van de algemeen directeur van de ADR en in aanvulling op het reguliere externe toezicht 
door het samenwerkingsverband KOA (Kwaliteitsonderzoek Overheidsaccountants). De ADR kan 
worden gekenmerkt als een lerende organisatie en het MT van de ADR verwacht dat de uitkomsten 
van dit onderzoek zullen bijdragen aan de verdere ontwikkeling en instandhouding van een actueel 
en robuust stelsel van kwaliteitsbeheersing, passend bij de positie en ambities van de ADR. 

Het doel van de opdracht is om inzicht te verschaffen in deze aspecten van het stelsel en niet om 
met een bepaalde mate van zekerheid een oordeel daarover uit te spreken. Dit onderzoek is dan ook 
niet uitgevoerd als een assurance-opdracht of een aan assurance-verwante opdracht. 


2.2 Samenvatting van de uitgevoerde werkzaamheden 
2.2.1 Werkzaamheden In fase I 

Het onderzoek is uitgevoerd in 2 fasen. In fase I van ons onderzoek hebben wij de opzet van het 
stelsel van kwaliteitsbeheersing van de ADR beoordeeld. Het stelsel van kwaliteitsbeheersing voor 
een auditafdeling behelst een zodanig systeem van kwaliteitsbeheersing dat een redelijke mate van 
zekerheid bestaat, dat de organisatie en haar personeel voldoen aan de vaktechnische richtlijnen 
van de beroepsorganisaties van de betrokken auditors en aan de door wet- en regelgeving gestelde 
eisen en dat de door de organisatie of haar voor opdrachten verantwoordelijke auditors afgegeven 
rapporten onder de gegeven omstandigheden juist zijn. De eisen die aan een dergelijk systeem van 
kwaliteitsbeheersing worden gesteld zijn met name opgenomen in de Richtlijn kwaliteitsbeheersing 
voor accountantsafdelingen (RKB1). RKB1 is gepubliceerd door de Koninklijke Nederlandse 
Beroepsorganisatie van Accountants (NBA) en heeft ten doel grondbeginselen en essentiële 
procedures vast te stellen en aanwijzingen te geven met betrekking tot de verantwoordelijkheden van 
accountantsafdelingen voor hun kwaliteitsbeheersingssysteem ten aanzien van assurance- en 
daaraan verwante opdrachten. 
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RKB1 moet worden gelezen in samenhang met de overige voor kwaliteitsbeheersing relevante wet¬ 
en regelgeving voor accountants, waaronder de VGBA (gedragscode) en de ViO 
(onafhankelijkheidsregelgeving). De regelgeving voor kwaliteitsbeheersing van de Nederlandse Orde 
van Register EDP-Auditors (NOREA) is vergelijkbaar met RKB1 en op sommige punten specifiek 
gemaakt. De regelgeving voor kwaliteitsbeheersing van IIA/NL vertoont inhoudelijk veel 
overeenkomsten met de betreffende regelgeving van NBA en NOREA, maar is minder uitgewerkt. De 
gedragscodes en onafhankelijkheidsregelgeving van NBA, NOREA en IIA/NL benadrukken 
vergelijkbare beroepsethische aspecten. 

In dit licht is RKB1 dan ook een bruikbare maatstaf voor een actueel en hoogwaardig stelsel van 
kwaliteitsbeheersing, passend bij de diversiteit en complexiteit van de auditopdrachten die de ADR 
uitvoert. De elementen van kwaliteitsbeheersing zijn als volgt te benoemen: 

a. de verantwoordelijkheid van de leiding voor kwaliteit binnen de ADR 

b. beroepsethische normen 

o. het aanvaarden en voortzetten van de relatie met opdrachtgevers en van specifieke opdrachten 

d. het personeelsbeleid 

e. de uitvoering van de opdrachten 

f. opdrachtgerichte kwaliteitsbeoordeling en bewaking. 

De ADR heeft het stelsel van kwaliteitsbeheersing vastgelegd in het Handboek Auditing 
Rijksoverheid (hierna: HARo). Omdat dit kwaliteitsbeleid van toepassing is verklaard op alle 
professionals en opdrachten van de ADR en geen onderscheid wordt gemaakt naar de discipline 
(beroepstitel) van de professional, zijn wij uitgegaan van de ‘strengste’ en meest concrete, geldende 
norm als basis voor onze analyse van opzet, bestaan en werking van het stelsel van 
kwaliteitsbeheersing. 

2.2.2 Conclusie over de opzet 

Op basis van onze werkzaamheden in fase I kwamen wij tot de conclusie dat: 

- de opzet van het stelsel de ambitie van de ADR reflecteert om hoge eisen te stellen aan de 
kwaliteitsbeheersing bij alle opdrachten die de ADR uitvoert 

- het stelsel van kwaliteitsbeheersing van de ADR in opzet voldoet aan de eisen die samenhangen 
met de eerste vijf elementen van kwaliteitsbeheersing zoals gedefinieerd in RKB1 

- het stelsel van kwaliteitsbeheersing van de ADR voor wat betreft het element ‘opdrachtgerichte 
kwaliteitsbeoordeling en bewaking’ op onderdelen verbetering behoeft. 

Onder andere voor wat betreft het element ‘opdrachtgerichte kwaliteitsbeoordeling en bewaking’ 
heeft de ADR naar aanleiding van onze rapportage over fase I van het onderzoek inmiddels een 
aantal maatregelen genomen die moeten leiden tot aanscherping van de eisen die in het stelsel zijn 
opgenomen. Andere maatregelen die zijn getroffen betreffen het expliciteren van de criteria aan de 
hand waarvan de aanvaarding van opdrachten met een bepaald (risico) profiel kan worden belegd 
en het handelen bij (een aanwijzing voor) bestuurlijke fraude. 

2.2.3 Werkzaamheden in fase II 

Ease II van ons onderzoek richt zich op het bestaan en de werking van het stelsel van 
kwaliteitsbeheersing. Onder ‘bestaan’ wordt in het kader van ons onderzoek verstaan: het zichtbaar 
in de opdrachtdocumentatie (dossiers) vóórkomen van de maatregelen van kwaliteitsbeheersing, 
zoals verwoord in de beroepsregels, (de specifieke uitwerking daarvan) in het HARo en eventueel 
andere documenten. 
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Het bestaan moet blijken uit vastleggingen van de toepassing van de maatregelen, al dan niet in de 
vorm van ‘templates’ die daarvoor binnen de ADR zijn ontwikkeld. 

Onder ‘werking’ wordt in het kader van ons onderzoek verstaan: het effectief uitvoeren van de 
maatregelen van kwaliteitsbeheersing, zoals verwoord in de beroepsregels en het HARo en 
eventueel vastgelegd in andere documenten. De effectieve werking blijkt onder meer uit de 
vastlegging van de wijze waarop, door wie, wanneer en hoe de maatregelen zijn toegepast evenals 
uit de consistentie waarmee deze zijn toegepast. 

Om het bestaan en de werking van het stelsel te beoordelen hebben wij een beperkte review 
uitgevoerd op (onderdelen van) de dossiers die de ADR heeft ingericht voor 16 opdrachten. Deze 
opdrachten variëren in aard en omvang. Deze opdrachten zijn in samenspraak met ons geselecteerd 
door het management van de ADR. De geselecteerde opdrachten vormen een representatieve 
afspiegeling van de aard en omvang van de opdrachten die de ADR uitvoert. Daarbinnen is 
gekozen voor opdrachten met een verhoogd risico. 

Een beperkte review houdt in dat wij zeer gericht enkele onderdelen van de dossiers hebben 
beoordeeld waaruit bestaan en werking van het stelsel van kwaliteitsbeheersing zouden moeten 
blijken. Dit houdt in dat wij géén onderzoek hebben gedaan om met een bepaalde mate van 
zekerheid een uitspraak te kunnen doen over: 

- het algehele kwaliteitsniveau van de individuele dossiers 

- de vraag of de bij deze opdrachten door de ADR afgegeven rapporten onder de gegeven 
omstandigheden juist zijn (inhoudende dat in de betreffende situatie een passende conclusie dan 
wel een volledige en betrouwbare weergave van bevindingen in de rapportage is verwoord) 

- de werking van het stelsel van kwaliteitsbeheersing voor zover dat dossier-overstijgend is 
(bijvoorbeeld op het gebied van personeelsbeleid of technische infrastructuur van de ADR). 

Het onderzoek heeft in een constructieve sfeer plaatsgevonden. De bij de geselecteerde opdrachten 
betrokken teams van de ADR hebben ons alle voor het onderzoek noodzakelijk informatie verstrekt. 
Voor een zeer beperkt aantal opdrachten is op enkele punten vastgesteld dat geen 
overeenstemming bestaat tussen de reviewers en de voor de opdracht verantwoordelijke 
professional over de interpretatie van een bevinding of observatie (‘agree to disagree’). Dit doet naar 
onze mening geen afbreuk aan de conclusies over bestaan en werking van het stelsel van 
kwaliteitsbeheersing als geheel zoals wij die op grond van de uitgevoerde werkzaamheden in de 
volgende paragraaf presenteren. 

2.2.4 Conclusies over bestaan en werking 

Bestaan en werking van het stelsel als geheel 

Wij hebben bij de 16 in ons onderzoek betrokken opdrachten geconstateerd dat maatregelen van 
kwaliteitsbeheersing zoals vastgelegd in de beroepsregels en het HARo (en in voorkomende 
gevallen elders vastgelegd, zoals in wet- of regelgeving) zichtbaar in de opdrachtdocumentatie 
(dossiers) vóórkomen. De voor deze opdrachten eindverantwoordelijke auditors beschouwen het 
HARo dan wel de voor de opdrachten geldende specifieke wet- of regelgeving als leidend voor de 
uit te voeren werkzaamheden. Daarbij hebben wij overwegend de effectieve werking van deze 
maatregelen geconstateerd. 
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Op hoofdonderwerpen van het stelsel van kwaliteitsbeheersing hebben wij op opdrachtniveau echter 
ook leemten in bestaan en werking aangetroffen. Tevens constateren wij dat het HARo op enkele 
specifieke onderdelen meer op de praktijk van de ADR kan worden toegespitst. Hierna lichten wij dit 
nader toe. 

Hierbij merken wij op dat het op basis van ons onderzoek niet mogelijk is om generieke conclusies te 
trekken over alle opdrachten die de ADR uitvoert, noch over het algehele kwaliteitsniveau van de 
individuele dossiers. 

Bestaan van het stelsel op opdrachtniveau 

Bij meerdere opdrachten blijken leemten in het bestaan van maatregelen van kwaliteitsbeheersing 
onder andere uit: 

- het niet of niet op de voorgeschreven wijze vastleggen in het dossier van de voorwaarden 
waaronder de opdracht is overeengekomen met de opdrachtgever 

- het niet vaststellen van de onafhankelijkheid van de leden van het opdrachtteam gedurende de 
opdracht, zoals specifiek voorgeschreven in het HARo 

- het niet aantoonbaar evalueren van mogelijke bedreigingen van andere beroepsethische 
beginselen zoals vakbekwaamheid of zorgvuldigheid, die samenhangen met het accepteren en 
uitvoeren van de opdracht. 

Werking van het stelsel op opdrachtniveau 

Bij meerdere opdrachten blijken leemten in de werking van maatregelen van kwaliteitsbeheersing, 
onder andere omdat specifieke werkzaamheden niet overeenkomstig de vereisten in de 
beroepsregelgeving worden uitgevoerd en/of verantwoord. Voorbeelden daarvan zijn: 

- het onvoldoende aantonen in het dossier van de wijze waarop de eindverantwoordelijke auditor 
inhoudelijk en vaktechnisch sturing heeft gegeven aan het plannen, uitvoeren en afronden van de 
opdracht overeenkomstig de vereisten volgens de beroepsregelgeving 

- het niet op de juiste wijze invulling geven aan de vereisten ten aanzien van identificeren en 
inschatten van risico’s op afwijkingen van materieel belang, uitvoeren van cijferanalyses of de 
evaluatie van bevindingen 

- het niet of niet in voldoende mate aantoonbaar onderbouwen van waarom welke werkzaamheden 
hoe, wanneer, waarop en door wie moeten worden uitgevoerd 

- het ontbreken van een duidelijke uiteenzetting van de uitgevoerde werkzaamheden (waaronder 
begrepen de opdrachtgerichte kwaliteitsbeoordeling), de afwerking van bevindingen en de 
overwegingen die ten grondslag liggen aan de conclusie over het onderdeel waarop de 
werkzaamheden betrekking hebben 

- de fragmentatie van dossiers, waarbij niet in voldoende mate waarborgen voor het bewaren van 
de eenheid, zelfstandige leesbaarheid en integriteit van de inhoud - bestaande uit vastleggingen 
in elektronische en/of hard copyvorm - worden getroffen, zodat de verantwoording van conclusies 
of bevindingen wordt bemoeilijkt. 

Toespitsing van het HARo 

Op de volgende onderdelen van het stelsel van kwaliteitsbeheersing is het HARo naar onze mening 
nog niet voldoende specifiek om bestaan en werking van de noodzakelijke maatregelen van 
kwaliteitsbeheersing optimaal te waarborgen: 

- wet- en regelgeving verlangen in een aantal gevallen uitvoering van en/of rapportage over 
opdrachten op een wijze die niet geheel of niet zonder meer aansluit op de beroepsregelgeving. 
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- In het HARo wordt hierin voor een deel voorzien door het opnemen van de specifieke 
aandachtspunten die uit de betreffende wet- en regelgeving voortvloeien. Instructies voor de 
identificatie en evaluatie van concrete afwijkingen van beroepsregelgeving en de wijze waarop 
daarmee bij de acceptatie en uitvoering van de betreffende opdrachten moet worden omgegaan 
zouden echter meer op dergelijke omstandigheden kunnen worden toegespitst 

- de ADR heeft gekozen voor het gebruik maken van zogeheten horizontale clusters, waarbij een 
centraal team binnen de ADR auditwerkzaamheden verricht op activiteiten die voor meerdere 
departementen gemeenschappelijk worden uitgevoerd. Hoewel ertussen de betrokken teams 
veel afstemming plaatsvindt, vraagt deze structuur uit het oogpunt van kwaliteitsbeheersing - 
vooral voor wat betreft het aantoonbaar kunnen dragen van eindverantwoordelijkheid - om 
stringente en uniforme uitgangspunten voor regievoering, vakinhoudelijke sturing en 
dossiervorming. Het HARo biedt hiervoor een sterke basis, maar kan verder worden 
aangescherpt. 

- een aantal opdrachten van de ADR heeft - deels of geheel - betrekking op geclassificeerde 
informatie. De beroepsregelgeving voorziet niet specifiek in voorschriften ten aanzien van 
kwaliteitsbeheersing in dergelijke omstandigheden. Met name ten aanzien van onderwerpen als 
onafhankelijke kwaliteitsbeoordeling, dossiervorming, archivering en mogelijkheden voor de 
auditor om verantwoording af te leggen zijn in het HARo voor dergelijke opdrachten onvoldoende 
concrete instructies of procedures opgenomen. 

Referentiekader 

Een aantal bevindingen en observaties voor wat betreft bestaan en werking van het stelsel van 
kwaliteitsbeheersing op opdrachtniveau heeft met specifieke omstandigheden in de publieke sector 
te maken. Bovendien moet in ogenschouw worden genomen dat de ADR de interne auditdienst is 
voor de ministeries. De ADR is een multidisciplinair samengestelde dienst. Auditorganisaties en 
auditors in alle sectoren en disciplines verrichten grote inspanningen om aan de in wetgeving en 
beroepsregelgeving vastgelegde vereisten voor kwaliteit van auditwerkzaamheden te voldoen. Dit 
geldt ook voor de ADR. Onze bevindingen en observaties illustreren de knelpunten die daarbij in de 
praktijk breed worden ervaren. 

Analyse naar soort opdrachten 

De hiervoor genoemde voorbeelden van bevindingen en observaties zijn overwegend generiek en 
op enkele onderdelen na niet specifiek toe te wijzen aan de soort opdrachten die de ADR uitvoert of 
een auditdiscipline binnen de ADR. In hoofdstuk 4 zijn de bevindingen en observaties meer in detail 
weergegeven, gerubriceerd naar de elementen van kwaliteitsbeheersing waarop zij betrekking 
hebben. In hoofdstuk 5 is vervolgens een nadere analyse opgenomen van de bevindingen die in 
hoofdstuk 4 aan de orde komen, waaruit blijkt dat op een meer gedetailleerd niveau wel verschillen 
bestaan tussen de aard van de bevindingen per soort opdracht. 

Impact van de bevindingen 

De mogelijke impact van de leemten op het algehele kwaliteitsniveau van de beoordeelde 
opdrachten is divers. Zo kan het niet toereikend evalueren van mogelijke bedreigingen van 
beroepsethische beginselen bij bepaalde opdrachten leiden tot een hoger risico op een onjuist 
oordeel of een niet passende rapportage. Dit geldt eveneens voor het niet overeenkomstig de 
beroepsregels uitvoeren van specifieke werkzaamheden, waardoor mogelijk niet voldoende en/of 
niet geschikte (assurance) informatie wordt verkregen om het oordeel of de rapportage te 
onderbouwen. 
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Gefragmenteerde archivering van dossiers of tekortkomingen in de wijze waarop 
controledocumentatie (‘workpapers’) worden opgesteld kunnen daarentegen het doorgronden van 
het dossier bemoeilijken maar hoeven niet per definitie tot een hoger risico op een vaktechnische 
misslag te leiden, mits de werkzaamheden inhoudelijk toereikend zijn uitgevoerd. 

In alle gevallen verdient het aanbeveling om de oorzaken van de geconstateerde leemten te 
onderzoeken en passende maatregelen te nemen. De prioritering van de te nemen maatregelen is 
nader te overwegen door de opdrachtgever. 


3. Context van het onderzoek 

Het belang van de juiste context 

Bij het informeren van derden over de uitkomsten van ons onderzoek is het van belang om deze in 
de juiste context te kunnen plaatsen. Dit betreft in de eerste plaats het ontwikkelstadium van de ADR 
als nieuwe auditorganisatie. Daarnaast betreft dit de positionering en functie van de ADR als interne 
auditdienst binnen de rijksoverheid en de aard en complexiteit van de opdrachten die de ADR 
uitvoert. Ten slotte dienen de gevolgen van de maatschappelijke aandacht voor en het toezicht op 
de naleving van beroepsethische en vaktechnische regelgeving in ogenschouw te worden genomen 
bij het interpreteren van de uitkomsten. 

De ADR is een jonge organisatie 

De ADR is op 1 mei 2012 opgericht. Zij is een fusieorganisatie van de op dat moment bestaande 
auditdiensten van een aantal departementen. De auditdienst van het Ministerie van Veiligheid en 
Justitie is op 1 mei 2013 aangesloten bij de ADR. Op 1 april 2014 volgde ook de auditdienst van het 
Ministerie van Defensie. Vanaf 1 juni 2012 worden alle opdrachten uitgevoerd onder de 
verantwoordelijkheid van de algemeen directeur van de ADR. De ADR is een relatief jonge 
organisatie, die op het gebied van harmonisatie in ontwikkeling is. 

Harmonisatie binnen de ADR is in ontwikkeling 

De harmonisatie binnen de ADR heeft onder meer betrekking op de invoering van de elektronische 
dossieromgeving TeamMate in de loop van 2014 en het gebruik van uniforme sjablonen (‘visuals’) 
voor de controleplanning. Uit de dossierreviews blijkt dat veel opdrachtteams nog moeten wennen 
aan het werken met TeamMate. De opdrachtteams geven aan technische (aanloop) problemen met 
TeamMate te hebben ondervonden. Dit heeft tot gevolg dat voor een aantal van de door ons 
gereviewde dossiers geldt dat TeamMate niet of niet optimaal is gehanteerd. In sommige gevallen is 
de opdrachtdocumentatie na afronding van de opdracht in TeamMate verwerkt. 

De harmonisatie blijkt bijvoorbeeld ook uit de ‘horizontale aanpak’, waarbij een centraal team binnen 
ADR controlewerkzaamheden uitvoert op activiteiten die voor meerdere departementen 
gemeenschappelijk worden uitgevoerd (‘shared services'). Voorbeelden hiervan zijn SAP-3F 
(financiële administratie), P-Direkt (salarisadministratie) en HIS (inkoopfunctie). Onder andere bij de 
controle uit hoofde van de wettelijke taak en de controle van agentschappen wordt gebruik gemaakt 
van de uitkomsten van de werkzaamheden van de ‘horizontale teams’. Voordelen van een dergelijke 
aanpak zijn onder andere dat wordt voorkomen dat meerdere ‘departementale’ opdrachtteams zich 
richten op - in beginsel - dezelfde aspecten van de aan departementen verleende shared services 
en dat de werkzaamheden bij de aanbieder van de shared services door een gespecialiseerd team 
kunnen worden uitgevoerd. Er zijn echter ook nadelen te benoemen. 
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Belangrijke voorbeelden daarvan zijn de complexe regievoering van de controleopdrachten die 
volgens deze matrixstructuur zijn vormgegeven en een op vaktechnisch verantwoorde wijze inrichten 
van zelfstandig leesbare, toereikende dossiers per opdracht. 

Een derde goed voorbeeld van de harmonisatie is het gebruik van uniforme sjablonen voor 
rapportering. Een laatste voorbeeld is de centrale, jaarlijkse registratie van 
onafhankelijkheidsverklaringen van alle ADR-medewerkers. 

De ADR voert een grote verscheidenheid aan opdrachten uit 

Binnen de ADR zijn auditors van diverse beroepsgroepen werkzaam, zoals accountants, IT-auditors 
en operational auditors en deze auditors voeren diverse soorten opdrachten uit. Daarbij kan ook 
sprake zijn van samenloop van opdrachttypen. De ADR heeft in de jaren sinds de oprichting veel 
maatregelen genomen met als doel bij te dragen aan het waarborgen van de kwaliteit van de grote 
verscheidenheid aan opdrachten die worden uitgevoerd. Elet begrip ‘kwaliteit’ houdt in het kader van 
auditwerkzaamheden, in dat aantoonbaar (in dossiers ‘zichtbaar’) wordt voldaan aan de 
vaktechnische richtlijnen van de beroepsorganisaties van de betrokken auditors alsmede aan 
overige door wet- en regelgeving gestelde eisen en dat de afgegeven rapporten onder de gegeven 
omstandigheden juist zijn. De vaktechnische richtlijnen bevatten op een groot aantal onderwerpen 
gedetailleerde voorschriften voor de uitvoering van specifieke werkzaamheden. Die voorschriften 
hebben betrekking op alle onderdelen van een opdracht, zoals het overeenkomen van 
opdrachtvoorwaarden, het plannen, uitvoeren en verantwoorden van toereikende werkzaamheden, 
de evaluatie van de uitkomsten van die werkzaamheden en het rapporteren van bevindingen of 
formuleren van conclusies. Of een afgegeven rapport in de gegeven omstandigheden juist is, kan 
uitsluitend worden vastgesteld op basis van een deugdelijke verantwoording van de overeenkomstig 
de richtlijnen uitgevoerde werkzaamheden. 

De ADR opereert in een dynamische omgeving 

De auditfunctie binnen het Rijk is de afgelopen jaren sterk in omvang gedaald en de auditvraag is 
veranderd. Dit heeft onder andere te maken met nieuwe wet- en regelgeving, centralisatie van 
bedrijfsvoering binnen de rijksdienst en een toenemende behoefte aan ‘transparantie’. Ook leiden 
technologische ontwikkelingen en voortgaande digitalisering tot nieuwe auditbehoeften en 
auditmogelijkheden. Een en ander heeft gevolgen voor het vereiste kennisniveau van de ADR- 
medewerkers. Professionalisering geldt dan ook als permanent speerpunt. Daarbij spelen 
vraagstukken rond de beheerambitie (moet de ADR een 10 scoren of is een 6- voldoende?) en het 
controlebestel (‘slanker en slimmer’) een rol bij de keuzes die worden gemaakt. De ADR werkt 
planmatig aan het waarmaken van het beoogde, hoge kwaliteitsniveau binnen deze veelheid aan in- 
en externe ontwikkelingen. De structuur (inrichting en sturing), processen (optimalisering en 
uniformering), het gedrag en de werkwijze van de medewerkers en de eisen aan de dienstverlening 
zijn uitgewerkt in een ontwikkelingsplan. In het jaarplan van de ADR zijn de hoofdlijnen van de 
afspraken voor de uit te voeren opdrachten (vraaggestuurd, wettelijke taak en Europese 
geldstromen) uitgewerkt. Door middel van het professionaliseringsaanbod wordt gericht bijgedragen 
aan de benodigde ontwikkeling van kennis en vaardigheden. Ervaringen van de auditors met 
bijvoorbeeld TeamMate, het gebruik maken van ‘visuals’ voor de controleplanning, de op basis van 
afspraken opgeleverde dossiers en documenten van ‘klanten’ en het samenwerken met de 
‘horizontale clusters’ worden gedeeld en geëvalueerd. Een Taskforce 2.0 werkt aan de route naar 
een IT-gedreven audit, passend bij de visie op continuous reporting, monitoring en assurance die de 
ADR heeft geformuleerd. 


Blad 8 van 28 





krrtcn 


KA/206/Rap/PMA 
11 september 2015 


De ADR heeft een solide stelsel van kwaliteitsbeheersing ingericht 

Onder leiding van het management van de ADR is een stelsel van kwaliteitsbeheersing opgezet, dat 
tot doel heeft om de kwaliteit en efficiëntie van de aanpak van de ADR te bevorderen. Dit stelsel is 
vastgelegd in het Handboek Auditing Rijksoverheid (HARo). Het HARo moet bijdragen aan 
harmonisatie en uniformiteit van de binnen de ADR te volgen procedures en aan de eenheid van 
opvattingen daarover. Hierdoor kunnen gebruikers, waaronder de Algemene Rekenkamer, effectief 
steunen op (de uitkomsten van) de werkzaamheden van de ADR. Het kwaliteitsbeleid is van 
toepassing verklaard op alle professionals die werkzaam zijn bij de ADR, ongeacht de 
beroepsorganisatie waarvan zij lid zijn. 

Hoewel de wet- en regelgeving op het gebied van kwaliteitsbeheersing van de verschillende 
beroepsorganisaties grote overeenkomsten vertonen, is ook sprake van verschillen. Zo richt de 
kwaliteitsregelgeving van accountantsafdelingen en -organisaties zich bijvoorbeeld meer 
nadrukkelijk op aspecten als onafhankelijkheid en kwaliteitstoetsing. 

Gesteld kan worden dat de regelgeving voor accountants (‘financial auditors’) het meest 
gedetailleerd is uitgewerkt. Ten aanzien van het toezicht op en de toetsing van de naleving van deze 
regelgeving is in de ‘openbare’ accountantspraktijk gedurende het laatste decennium veel ervaring 
opgedaan. Daarbij zijn ook de knelpunten bij het naleven van deze regelgeving naar voren gekomen, 
wat in veel gevallen heeft geleid tot aanpassing en niet zelden tot aanscherping van de regels. Deze 
regels zijn in essentie afgeleid van RKB1, maar inmiddels in andere wet- en regelgeving vervat. Voor 
een deel is die andere wet- en regelgeving ook van toepassing op de (accountants van de) ADR, 
voor een deel is dat niet het geval. Zo gelden de Nadere voorschriften controle- en overige 
standaarden (NV COS) wel voor de accountants van de ADR, maar de Wet toezicht 
accountantsorganisaties (Wta) niet voor de ADR. 

Omdat het HARo van toepassing is op alle professionals en opdrachten van de ADR en geen 
onderscheid wordt gemaakt naar de titel van de professional, zijn wij uitgegaan van de ‘strengste’ en 
meest concrete, geldende normen voor kwaliteitsbeheersing als basis voor onze analyse van opzet 
(zie onze rapportage over fase I), bestaan en werking (fase II) van het stelsel van 
kwaliteitsbeheersing. Daarnaast bevat het HARo afzonderlijke onderdelen voor de verschillende 
opdrachttypen die de ADR uitvoert, die invulling geven aan de onderscheiden standaarden van de 
drie beroepsorganisaties. 

Toezicht op de openbare praktijk als referentiekader 

Wij hebben bij ons onderzoek de ervaringen in Nederland met het ‘strengste’ toezicht op de naleving 
van dergelijke regelgeving in aanmerking genomen. Dit betreft het aan de Wta gerelateerde toezicht. 
Openbare accountants hebben inmiddels ongeveer zeven jaar ervaring met intensief, streng en 
onafhankelijk toezicht. Dit extern toezicht is mede aanleiding geweest voor openbare accountants 
om de gerichte trajecten te starten die tot aantoonbare kwaliteitsverbetering moeten leiden. 

De Wta met gerelateerd extern toezicht is niet van toepassing op de ADR. Wij hebben uiteraard niet 
het inhoudelijke aan de Wta gerelateerde toezicht als uitgangspunt gehanteerd, maar wel de wijze 
waarop de toezichthouder vaststelt of vaktechnische regelgeving, waaronder kwaliteitsregelgeving, 
wordt nageleefd. Dit biedt houvast voor het beantwoorden van de vraag of het stelsel van 
kwaliteitsbeheersing van de ADR voldoende basis biedt voor het management en de professionals 
van de ADR om de naleving van regelgeving inzake kwaliteitsbeheersing van NBA/IFAC, NOREA en 
IIA te waarborgen. 
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Factoren die van invloed kunnen zijn op kwaliteit 

Onze werkzaamheden hebben hoofdzakelijk bestaan uit het houden van interviews en het 
doornemen van onderdelen van de in ons onderzoek betrokken dossiers. Wij hebben daarbij 
geconstateerd dat de auditors loyaal en toegewijd zijn en zich inzetten om een opdracht naar beste 
kunnen uit te voeren. In veel gevallen is sprake van langjarige, relevante ervaring van projectleiders 
en andere betrokken auditors. Dit heeft enerzijds tot gevolg dat veel opdrachtgerelateerde kennis 
aanwezig is, anderzijds kan dit betekenen dat ‘een frisse blik’ bij het plannen en uitvoeren van 
werkzaamheden ontbreekt. Omstandigheden als toenemende (vaktechnische en organisatorische) 
complexiteit, tijdsdruk en/of beperkte capaciteit hebben volgens mededeling van meerdere 
projectleiders eveneens mogelijk invloed gehad op de kwaliteit van de werkzaamheden. Ons 
onderzoek is niet gericht geweest op het nader analyseren van dergelijke factoren. 


4. Toelichting op de bevindingen 

4.1 Opdrachten betrokken in het onderzoek 

De werkzaamheden van de ADR zijn divers en worden hoofdzakelijk uitgevoerd door auditors uit drie 
beroepsgroepen, te weten financial auditors, IT-auditors en operational auditors. Er wordt 
onderscheid gemaakt naar drie velden waarop opdrachten betrekking kunnen hebben: 

- wettelijke taak 

- Europese opdrachten 

- vraaggestuurde opdrachten. 

Binnen deze velden kan in termen van de NBA-regelgeving sprake zijn van verschillende soorten 
opdrachten, zoals controleopdrachten, andere assuranceopdrachten, opdrachten tot het verrichten 
van overeengekomen specifieke werkzaamheden uitmondend in een rapport van bevindingen en 
niet aan assurance verwante opdrachten. Daarbij kan sprake zijn van de samenloop van 
verschillende soorten opdrachten (‘hybride opdrachten’). In totaal zijn 16 dossiers van de ADR 
betrokken in ons onderzoek. Deze dossiers betreffen een doorsnede van de verschillende soorten 
opdrachten die de ADR uitvoert en de disciplines die daarbij betrokken zijn. In onderstaande 
tabellen zijn overzichten opgenomen van de soorten opdrachten waarop deze rapportage betrekking 
heeft. 


Soort opdracht^ 


Controle- 

Discipline opdracht 

Andere 

assurance- 

opdracht 

Opdracht tot het verrichten 
van overeengekomen 
specifieke werkzaamheden^ 

Niet aan 

assurance 

verwante 

opdracht 

Hybride 

opdracht 

Financial audit V (6) 




V(3) 

IT-audit 

V(1) 

V(2) 

V(1) 


Operational audit 


V(2) 

V(1) 



Tabel 1: opdrachten in onderzoek (soort opdracht per discipline, met tussen haakjes het aantai opdrachten) 


' De benamingen van de soorten opdrachten zijn zo veel als mogelijk in overeenstemming met het stramien in IFAC 
regelgeving. 

^ Voor het doel van deze rapportage worden tot deze opdrachten telkens ook gerekend de opdrachten die zijn uitgevoerd 
door operational auditors van de ADR die hebben geleid tot een rapport van bevindingen. 
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Soort opdracht 


Controle- 

Veld opdracht 

Andere 

assurance- 

opdracht 

Opdracht tot het verrichten 
van overeengekomen 
specifieke werkzaamheden 

Niet aan 

assurance 

verwante 

opdracht 

Hybride 

opdracht 

Wettelijke taak ^ 

, V 4 

(jaarrekening) 





Grote projecten 




V(1) 

Baten en lasten V (2) 





Europa 




V(2) 

Vraaggestuurd 

V(1) 

V(4) 

V(2) 



Tabel 2: opdrachten in onderzoek (soort opdracht per veld, met tussen haakjes het aantal opdrachten) 


Ons onderzoek is gericht op bestaan en werking van het stelsel van kwaliteitsbeheersing. Daartoe 
hebben wij de 16 dossiers op meerdere onderdelen beoordeeld. De invalshoek die wij daarbij 
hebben gekozen is gebaseerd op de zes hoofdonderdelen van kwaliteitsbeheersing zoals die zijn 
terug te vinden in onder andere Richtlijn kwaliteitsbeheersing voor accountantsafdelingen 1 (RKB1), 
Deze richtlijn vormt een belangrijk kader voor de totstandkoming van het Handboek Auditing 
Rijksoverheid (HARo). Het HARo bevat per onderdeel gedetailleerde maatregelen en guidance. 
Daarbij is de regelgeving van de drie beroepsorganisaties als uitgangspunt gehanteerd. De zes 
onderdelen zijn: 

a. verantwoordelijkheid van de leiding voor kwaliteit 

b. beroepsethische normen 

c. aanvaarden en voortzetten van de relatie met opdrachtgevers en van specifieke opdrachten 

d. personeelsbeleid 

e. uitvoering van de opdrachten 

f. opdrachtgerichte kwaliteitsbeoordeling en bewaking. 

Onze werkzaamheden hebben hoofdzakelijk bestaan uit het houden van interviews met de 
eindverantwoordelijke auditors en het kennis nemen van de inhoud van (onderdelen) van 
(elektronische en ‘hard copy’) dossiers. Wij hechten er hierbij aan om te benadrukken dat wij in alle 
gevallen een constructieve en openhartige medewerking aan ons onderzoek hebben ervaren. De 
bevindingen en observaties die in dit rapport aan de orde komen zijn afgestemd met de 
eindverantwoordelijke auditors. 

Onze bevindingen en observaties zijn per onderdeel van het stelsel van kwaliteitsbeheersing hierna 
op hoofdlijnen weergegeven in tabel 3. Deze bevindingen hebben betrekking op de 16 door ons 
beoordeelde dossiers. Wij hechten eraan om te benadrukken dat: 

- niet alle weergegeven bevindingen en observaties gelden voor al deze dossiers 

- het niet mogelijk is om op basis van deze bevindingen generieke conclusies te trekken over alle 
opdrachten die de ADR uitvoert 

- op basis van ons onderzoek geen uitspraak kan worden gedaan over het algehele 
kwaliteitsniveau van de individuele dossiers en over de vraag of in de betreffende situatie de 
rapportage passend is. 

Onze bevindingen en observaties zijn als volgt samen te vatten. 
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1. Verantwoordelijkheid van de leiding voor kwaliteit 


Kernbepaling 

Het bevorderen van een kwaliteitsgerichte interne bedrijfscultuur is afhankelijk van duidelijke, logische en 
regelmatig terugkerende maatregelen en signalen, waarbij de nadruk wordt gelegd op de gedragslijnen voor 
kwaliteitsbeheersing en de kwaliteitsbeheersingsprocedures van de auditorganisatie en de noodzaak om: 

- werkzaamheden te verrichten die in overeenstemming zijn met de vaktechnische richtlijnen en de door wet¬ 
en regelgeving gestelde eisen; en 

- rapporten af te geven die onder de gegeven omstandigheden juist zijn. 


Bevindingen en observaties 

a. Wet- en regelgeving verlangen in een aantal gevallen van de ADR uitvoering van en/of rapportage over 
opdrachten op een wijze die niet geheel of niet zonder meer aansluit op de beroepsregelgeving. Dit uit zich 
bijvoorbeeld in: 

- opdrachten waarbinnen assurance- en andere werkzaamheden worden gecombineerd (‘hybride 
opdrachten’), echter zonder duidelijke afbakening daarvan 

- opdrachten waarvoor de voorgeschreven aard en reikwijdte van de auditwerkzaamheden minder 
geschikt lijken voor het doel van de gebruiker 

- voorgeschreven modelverantwoordingen en teksten van auditrapportages die niet voldoende duidelijk 
maken wat grondslagen voor verslaggeving zijn en wat de aard en reikwijdte van de betrokkenheid van 
de auditor inhouden. 

In het HARo wordt hierin voor een deel voorzien door het opnemen van de specifieke aandachtspunten die 
uit de betreffende wet- en regelgeving voortvloeien. Instructies voor de identificatie en evaluatie van 
concrete afwijkingen van beroepsregelgeving en de wijze waarop daarmee bij de acceptatie en uitvoering 
van de betreffende opdrachten moet worden omgegaan zouden echter meer op dergelijke 
omstandigheden kunnen worden toegespitst. Daarmee kunnen de eindverantwoordelijke auditors 
waarborgen treffen die een verantwoording van hun werkzaamheden binnen de kaders van de 
beroepsregelgeving mogelijk maken. 

b. De ADR maakt gebruik van zogeheten ‘horizontale teams’ die auditwerkzaamheden verrichten op entiteiten 
of activiteiten. Bij meer complexe opdrachten kan sprake zijn van de uitvoering van werkzaamheden in de 
vorm van deelprojecten. Hoewel op dit punt tussen de betrokken teams veel afstemming plaatsvindt, vraagt 
deze structuur uit het oogpunt van kwaliteitsbeheersing om stringente en uniforme uitgangspunten voor 
regievoering, vakinhoudelijke sturing en dossiervorming. Het HARo biedt hiervoor een sterke basis, maar 
kan verder worden aangescherpt. In alle gevallen waar de eindverantwoordelijk auditor voor zijn^ oordeel 
gebruik maakt van de uitkomsten van werkzaamheden die door een andere auditor zijn uitgevoerd hebben 
wij geconstateerd dat niet (voldoende) uit de opdrachtdocumentatie kan worden vastgesteld dat de 
ongedeelde verantwoordelijkheid voor de relevante uitkomst van deze werkzaamheden kan worden 
gedragen. Zo hebben wij bij enkele dossiers niet kunnen vaststellen dat de werkzaamheden die zijn verricht 
door andere auditors voldoende zijn geëvalueerd. Daarnaast is in een aantal dossiers onvoldoende 
zichtbaar of en zo ja, in welke mate de eindverantwoordelijk auditor (dat wil zeggen de tekenend 
accountant van het klantcluster) in voldoende mate regie heeft gevoerd over de werkzaamheden van het 
horizontale cluster voor zijn eigen auditdoeleinden. 


^ In deze rapportage gebruiken wij omwille van de leesbaarheid de mannelijke aanduiding voor de auditor. In alle gevallen 
wordt daarmee uiteraard de vrouwelijke of mannelijke auditor bedoeld. 
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c. Auditors van de ADR zijn betrokken bij opdrachten waarbinnen sprake is van geciassificeerde informatie. 
Deze informatie is geheim (waarbij verschiiiende niveaus van geheimhouding voorkomen) en siechts 
toegankeiijk voor personen met een accreditatie op het juiste niveau. Vaktechnische beroepsregeigeving, 
zoais controiestandaarden, voorziet niet specifiek in voorschriften ten aanzien van kwaiiteitsbeheersing in 
dergeiijke omstandigheden. Met name ten aanzien van onderwerpen ais onafhankeiijke 
kwaiiteitsbeoordeiing, dossiervorming, archivering en mogeiijkheden voor de auditor om (bijvoorbeeid 
tuchtrechteiijk) verantwoording over zijn werkzaamheden af te ieggen zijn in het HARo voor dergeiijke 
opdrachten geen concrete instructies of procedures opgenomen. In het kader van ons onderzoek is sprake 
van één dossier waarvoor een zeer hoge mate van vertrouweiijkheid geidt. Wij hebben uiteraard geen 
toegang gehad tot dit dossier, hetgeen passend is binnen het steisei van kwaiiteitsbeheersing. Wij hebben 
daardoor echter ook niet zeifstandig kunnen beoordeien of aan beroepsregeigeving en/of andere ADR- 
specifieke regeigeving wordt voidaan. 


2. Beroepsethische normen 


Kernbepaling 

De accountantsorganisatie dient gedragsiijnen en procedures vast te steiien die zijn opgezet om een redeiijke 
mate van zekerheid te verkrijgen dat de organisatie en haar personeei voidoen aan de van kracht zijnde 
ethische normen. Ethische normen met betrekking tot assurance- en daaraan verwante opdrachten omvatten in 
het aigemeen de deien A en B van de Code of Ethics van IFAC, aangevuid met nationaie beroepsethische 
normen van meer stringente aard. De beroepsethische grondbeginseien zijn: 
a integriteit 
b objectiviteit 

o vakbekwaamheid en zorgvuidigheid 
d vertrouweiijkheid 
e professionaiiteit. 


Bevindingen en observaties 

a. in meer dan de heift van de dossiers is de beoordeiing of sprake is van bedreigingen voor de naieving van 
de fundamenteie beginseien zoais genoemd in de gedrags- en beroepsregeis beperkt vastgeiegd. De 
mededeiing door de eindverantwoordeiijk auditor dat evaiuatie wei heeft piaatsgevonden kan dan ook niet 
worden geverifieerd, in geen van de beoordeeide dossiers is sprake van een vastiegging waaruit expiiciete 
toepassing van het zogeheten ‘conceptueei raamwerk' biijkt. Voigens het conceptueei raamwerk worden 
maatregeien die de eventueie bedreigingen tot een aanvaardbaar iaag niveau terugbrengen expiiciet 
benoemd, uitgevoerd en geëvaiueerd. Bijvoorbeeid bij meer compiexe opdrachten, opdrachten waar 
geciassificeerde informatie een roi speeit of opdrachten waar wet- of regeigeving werkzaamheden en/of 
rapportages veriangt die niet zonder meer in overeenstemming zijn met vaktechnische beroepsregeigeving, 
mag toepassing van het conceptueei raamwerk worden verwacht. 
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b. Beroepsethische regelgeving schrijft voor dat auditors die assurance-opdrachten uitvoeren onafhankelijk 
moeten zijn. Voor het waarborgen van de onafhankelijkheid geldt strikte, specifieke beroepsregelgeving. De 
ADR heeft onafhankelijkheid van de auditor bovendien voor elke opdracht van toepassing verklaard en 
hanteert een centrale vastlegging van persoonlijke onafhankelijkheidsverklaringen van de auditors. Deze 
persoonlijke onafhankelijkheidsverklaringen worden jaarlijks verstrekt. In de opdrachtdossiers wordt 
hiernaar verwezen. Echter niet in alle gevallen wordt tijdens de preauditmeeting (bij de start van een 
opdracht) en zo nodig tijdens de uitvoering van de opdracht expliciet stilgestaan bij de vraag of de 
onafhankelijkheid van de betrokken teamleden daadwerkelijk geborgd is, bijvoorbeeld door na te gaan of 
auditors sinds het afgeven van de onafhankelijkheidsverklaring betrokken zijn geweest bij andere 
opdrachten voor de betreffende opdrachtgever. 

c. Dossiers dan wel onderdelen daarvan zijn toegankelijk voor auditors die niet bij de opdracht zelf betrokken 
zijn. Volgens ADR-beleid mogen dossiers met de status tot en met ‘Departementaal vertrouwelijk' intern 
gedeeld worden binnen het betrokken controleteam. Waar van toepassing hebben externe reviewers een 
wettelijk inzagerecht en/of als ambtenaar een eed afgelegd die vertrouwelijkheid waarborgt. Wij hebben niet 
geconstateerd dat ten aanzien van de toepassing van het fundamenteel beginsel ‘vertrouwelijkheid’ binnen 
de auditorganisatie sprake is van bedreigingen. Wij geven u echter in overweging om, in aansluiting op de 
nadere uitwerking van dit beginsel in bijvoorbeeld het Bta (niet van toepassing op de opdrachten van de 
ADR), de toegang tot dossiers voor auditors van de ADR te beperken tot de direct betrokkenen, waaronder 
eventueel ingeschakelde andere deskundigen of kwaliteitsbeoordelaars. 


3. Aanvaarden en voortzetten van de relatie met opdrachtgevers en van specifieke opdrachten 


Kernbepaling 

Alvorens een opdracht van een nieuwe opdrachtgever te aanvaarden, bij het beslissen of een bestaande 
opdracht zal worden voortgezet en bij het overwegen of een nieuwe opdracht voor een bestaande 
opdrachtgever zal worden aanvaard, dient de auditorganisatie de informatie te verkrijgen die zij in de gegeven 
omstandigheden noodzakelijk acht. Indien knelpunten (zoals bedreigingen van fundamentele beginselen) zijn 
onderkend en de auditorganisatie toch besluit de relatie met de opdrachtgever of de specifieke opdracht te 
aanvaarden of voort te zetten, moet de organisatie vastleggen hoe de knelpunten zijn opgelost. 


Bevindingen en observaties 

a. Het overeenkomen van opdrachtvoorwaarden is noodzakelijk om afspraken over aard en reikwijdte van de 
opdracht en verantwoordelijkheden van opdrachtgever en auditor duidelijk te maken. Voor de ADR geldt 
dat sommige opdrachten zijn verankerd in wetgeving. Het uitvoeren van de wettelijke taak is geregeld in de 
Comptabiliteitswet. In een aantal gevallen wordt het jaarlijkse auditplan van de ADR beschouwd als de 
bevestiging van een uit te voeren opdracht. In de betreffende dossiers wordt niet altijd specifiek verwezen 
naar de grondslag voor het aanvaarden of voortzetten van de opdracht. De aard en reikwijdte van de 
opdracht, eventuele nadere afspraken en de verantwoordelijkheden van zowel auditor als opdrachtgever 
worden hierdoor niet geformaliseerd en bevestigd overeenkomstig beroepsregelgeving, zoals de 
controlestandaarden. Daarnaast is bij enige dossiers geen formele opdrachtbevestiging aangetroffen, 
terwijl deze opdrachten niet zijn verankerd in de wetgeving. 
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b. Vraaggestuurde opdrachten worden in enkele gevallen breed geformuleerd en meerdere keren niet 
duidelijk en/of niet volledig bevestigd. Daarnaast komt het voor dat opdrachten tussentijds worden 
aangepast zonder zichtbare instemming door de opdrachtgever. De uitvoerbaarheid van gewijzigde 
opdrachten wordt daarbij niet overwogen. Een en ander leidt mogelijk tot opdrachten die niet zijn bevestigd 
overeenkomstig de beroepsregelgeving en/of tot rapportages die minder goed zijn afgestemd op de 
oorspronkelijke doelstelling van de gebruiker. 

o. Bij de werkzaamheden gericht op het beoordelen van de opzet van het stelsel van kwaliteitsbeheersing 
(fase I) hebben wij geconstateerd dat beslissingen over de aanvaarding (of continuering) van opdrachten 
met een hoger risicoprofiel (bijvoorbeeld als gevolg van een eventuele bedreiging van fundamentele 
beginselen) in beginsel op het niveau van de verantwoordelijke auditor worden genomen. De 
werkzaamheden in fase II bevestigen bestaan en werking van dit uitgangspunt. Inmiddels is het HARo 
hierop aangepast, waardoor een overweging op managementniveau omtrent de vraag of de ADR de 
opdracht wil, kan of moet uitvoeren tot de opdrachtdocumentatie zal gaan behoren. 


4. Personeelsbeleid 


Kernbepaling 

De auditorganisatie dient gedragslijnen en procedures vast te stellen die zijn opgezet om een redelijke mate 
van zekerheid te verkrijgen dat zij voldoende personeel in dienst heeft met de capaciteiten, bekwaamheid en 
binding met ethische grondslagen, die noodzakelijk zijn om haar opdrachten uit te kunnen voeren in 
overeenstemming met de vaktechnische richtlijnen en de door wet- en regelgeving gestelde eisen en om de 
organisatie of de voor opdrachten verantwoordelijke auditor in staat te stellen rapporten af te geven die onder 
de gegeven omstandigheden juist zijn. 


Bevindingen en observaties 

a. Volgens een toelichting door de opdrachtteams is de helft van de onderzochte opdrachten onder grote 
tijdsdruk uitgevoerd. Deze tijdsdruk wordt zowel veroorzaakt door een tekort aan beschikbare 
(gekwalificeerde) fte’s als de timing van de werkzaamheden. Er is sprake van een grote tijdsdruk rond de 
rapportagedatum, onder andere door late oplevering van informatie door de opdrachtgever. 

b. In veel gevallen is volgens mededeling van de eindverantwoordelijke auditor sprake van een consistente 
teambezetting op sleutelposities. Bij meer omvangrijke opdrachten is echter veelvuldig sprake van (externe) 
inhuur. Op basis van de dossiers kan niet zonder meer worden vastgesteld of en in hoeverre de 
urenbesteding zowel kwalitatief als kwantitatief adequaat is in relatie tot aard en omvang van de betreffende 
opdrachten. 
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5. Uitvoering van de opdrachten 


Kernbepaling 

De auditorganisatie dient gedragslijnen en procedures vast te stellen die zijn opgezet om een redelijke mate 
van zekerheid te verkrijgen dat de opdrachten worden uitgevoerd in overeenstemming met de vaktechnische 
richtlijnen en de door wet- en regelgeving gestelde eisen, en dat de organisatie of haar voor opdrachten 
verantwoordelijke auditors rapporten afgeven die onder de gegeven omstandigheden juist zijn. Door middel 
van haar gedragslijnen en procedures tracht de auditorganisatie een constante kwaliteit bij de uitvoering van 
de opdrachten tot stand te brengen. 


Bevindingen en observaties 

Op onderdelen hebben wij tekortkomingen geconstateerd in de uitvoering van de werkzaamheden. Als 
tekortkoming beschouwen wij in dit verband werkzaamheden die niet worden uitgevoerd conform de 
(vaktechnische) beroepsregelgeving. De vaktechnische beroepsregelgeving bestaat hoofdzakelijk uit de 
Nadere voorschriften controle- en overige standaarden (NBA), de Richtlijnen 230, 3000, 3402 en 4401 
(NOREA) en de Internationale Standaarden voor de Beroepsuitoefening van Internal Auditing (IIA). De 
belangrijkste bevindingen betreffen in dit verband: 

a. De mate van betrokkenheid bij de opdracht van de eindverantwoordelijke auditor^ is in de helft van de 
gevallen niet toereikend en/of niet goed af te leiden uit de opdrachtdocumentatie op de wijze zoals 
vaktechnische beroepsregelgeving voorschrijft. Betrokkenheid van onderliggende functies is over het 
algemeen beter zichtbaar in het dossier. 

In een aantal dossiers zijn conclusies die met een redelijke of een beperkte mate van zekerheid worden 
verstrekt mede gebaseerd op overeengekomen specifieke werkzaamheden, die niet zijn uitgevoerd onder 
de verantwoordelijkheid van de auditor die het rapport ondertekent waarin de conclusies zijn verwoord. De 
toereikendheid van deze werkzaamheden voor de oordeelsvorming door de auditor wordt niet in voldoende 
mate vastgesteld. 

De tekenend auditor dient aantoonbaar verantwoordelijkheid te nemen voor bijvoorbeeld de aansturing van, 
het toezicht op en de uitvoering van de opdracht overeenkomstig de vaktechnische beroepsregelgeving. 

b. De auditors geven in de interviews die wij hebben gehad blijk van veel materiekennis. Ten aanzien van 
controleopdrachten (wettelijke taak) is de aard en reikwijdte van de benodigde ‘kennis van de entiteit' zeer 
specifiek in vereisten van Standaard^ 315 verwoord. Die kennis heeft vooral, maar zeker niet alleen, 
betrekking op bijvoorbeeld een grondig en gedetailleerd inzicht in de transactieverwerkende processen en 
de daarbij gebruikte systemen. Dit is noodzakelijk om een toereikende analyse uit te kunnen voeren van 
risico’s op afwijkingen van materieel belang in de te controleren verantwoording, maar ook om een 
effectieve respons op die risico's te plannen en uit te voeren. Uit bijna de helft van de dossiers blijkt deze 
‘kennis van de entiteit' onvoldoende. 


“ Met de term auditor wordt bedoeld een financial auditor (RA of AA), IT-auditor of een operational auditor. De 
eindverantwoordelijke auditor ondertekent de rapportage en kan zijn de projectleider of de clustermanager. 

® Waar in dit rapport wordt gesproken over ‘Standaard’ of ‘Standaarden’ (al dan niet voorzien van een nummeraanduiding) 
wordt bedoeld de vaktechnische beroepsregelgeving van de NBA. 
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c. In aansluiting op punt b. hiervoor is (eveneens voor controleopdrachten) meer specifiek het verkrijgen van 
inzicht in de geautomatiseerde gegevensverwerking (‘IT-omgeving’) en met name de daarin voorkomende 
interne beheersingsmaatregelen van belang. De op de IT-omgeving gerichte werkzaamheden worden 
veelal door het gespecialiseerde cluster uitgevoerd. De relatie tussen geïdentificeerde risico’s op 
afwijkingen van materieel belang in de verantwoording, de te testen beheersingsmaatregelen 
(onderscheiden naar IT general Controls en application Controls) die deze risico's mitigeren, de wijze 
waarop deze tests plaatsvinden en de evaluatie van de gevolgen van de uitkomsten van de 
testwerkzaamheden voor de verdere (niet IT-gerelateerde) controlewerkzaamheden is cruciaal voor een 
effectieve controleaanpak. Uit enkele dossiers blijkt deze relatie onvoldoende. 

d. Risico’s - waaronder de centraal geformuleerde risico’s - worden bij minder van de helft van de 
controleopdrachten niet geïdentificeerd en ingeschat op het niveau van beweringen per (materiële) post of 
transactiestroom in de verantwoording. Dit kan leiden tot niet-effectieve controlewerkzaamheden en/of 
inefficiëntie. Een voorbeeld van een op deze wijze centraal geformuleerd risico is 'Misbruik en oneigeniijk 
gebruik'. Een voorbeeld van een op opdrachtniveau op deze wijze geformuleerd risico is ‘De kwaiiteit van 
de financiëie administratie ais gevoig van tekortkomingen in de financiëie functie'. Dit zijn in feite oorzaken 
van mogelijke risico’s. De formulering is dermate abstract dat een respons in de vorm van 
controlewerkzaamheden (gericht op de vraag of zich een afwijking van materieel belang op het niveau van 
een bewering inzake een post in de verantwoording voordoet) in veel gevallen niet aan een concreet risico 
is gerelateerd. 

e. Bij een meerderheid van de dossiers blijkt de ‘audit trail’ voor wat betreft de werkzaamheden gericht op de 
oordeelsvorming omtrent rechtmatigheid en/of getrouwheid van in de verantwoordingen opgenomen 
informatie onvoldoende uit dossiers. Voor wat betreft de overige opdrachten blijkt de samenhang tussen 
doelstelling, onderzoekskeuzes en planning, uitvoering, evaluatie en rapportage van de werkzaamheden 
onvoldoende uit meerdere dossiers. 

f. De uitvoering van zowel systeem- als gegevensgerichte werkzaamheden voldoet niet altijd aan de vereisten 
volgens de beroepsregelgeving. Er kan deels sprake zijn van wel uitgevoerde maar niet toereikend 
gedocumenteerde werkzaamheden. Voorbeelden hiervan zijn: 

- de onderbouwing van de selectie (aantal en aangewezen items) van de door middel van een - al dan 
niet statistische - steekproef te testen interne beheersingsmaatregelen of gegevensgericht te 
controleren items voldoet niet aan de vereisten volgens Standaard 530. Ter illustratie dient het volgende 
voorbeeld. Als onderbouwing van het aantal te verrichten systeemtests bij interne 
beheersingsmaatregelen die dagelijks worden uitgevoerd wordt in meerdere dossiers aangegeven dat 
het HARo 25 waarnemingen voorschrijft. Het HARo geeft dit aantal echter slechts indicatief aan als 
minimum. Diverse factoren kunnen aanleiding geven voor het bepalen van een afwijkend aantal. 
Daarnaast dient de aanwijzing van de te testen items deugdelijk te worden gemotiveerd 

- de wijze waarop controle-informatie wordt verkregen over de effectiviteit van de geteste interne 
beheersingsmaatregelen voldoet niet aan de vereisten volgens Standaard 330 

- de opzet, uitvoering en evaluatie van cijferanalyses die bedoeld zijn om zekerheid te verkrijgen uit 
gegevensgerichte werkzaamheden voldoet niet aan de vereisten volgens Standaard 520. Zo wordt in 
nagenoeg alle gevallen geen toereikende verwachting opgebouwd, geen drempelwaarde bepaald en 
vindt geen verificatie van de verklaring voor een afwijking plaats 

- van informatie (bijvoorbeeld in de vorm van ‘lijstwerk’) die door de gecontroleerde wordt verstrekt en die 
als controle-informatie wordt gebruikt, wordt de betrouwbaarheid niet vastgesteld volgens de vereisten 
van Standaard 500 
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- de voorwaarden waaronder gebruik kan worden gemaakt van de werkzaamheden die door een andere 
interne auditdienst zijn uitgevoerd worden niet geëvaiueerd in overeenstemming met Standaard 610 

- de evaiuatie van bevindingen is niet in overeenstemming met de daarvoor bestaande 
beroepsregeigeving, onder andere opgenomen in Standaarden 450 en 705. Deze constatering ziet met 
name op het bepaien van de omvang van de (niet-) ontdekte en niet-gecorrigeerde afwijkingen aismede 
de interpretatie van afwijkingen ais ‘onzekerheid' omdat op het moment van afgifte van de 
controieverkiaring nog niet aiie benodigde controie-informatie is verkregen. 

g. Controie- of assurancedocumentatie (‘workpapers’) voidoet bij meer dan de heift van de dossiers niet aan 
de daaraan te steiien eisen voigens Standaard cq Richtiijn 230 omdat bijvoorbeeid een gedetaiiieerde 
vastiegging van uitgevoerde werkzaamheden, bevindingen, overwegingen en/of conciusies ontbreken en/of 
omdat daarin aantekeningen, vragen of opmerkingen zonder navoigbare afwerking zijn opgenomen. 

h. Uit de datum van aftekening biijkt bij meer dan de heift van de dossiers dat niet aiie daarvoor in aanmerking 
komende dossieronderdeien tijdig en/of op het juiste niveau worden gereviewd. Een tijdige review of 
kwaiiteitsbeoordeiing dient aantoonbaar piaats te vinden voordat de rapportage wordt uitgebracht. De 
mondeiinge toeiichting door de opdrachtteams dat de review wei heeft piaatsgevonden voor afgifte van de 
rapportage kan niet worden geverifieerd. 

i. Uit de datum van aftekening voor opsteiien en/of review van controiedocumentatie vait af te ieiden dat, op 
het moment waarop de auditor rapporteert, het dossier in een aantai gevaiien (nog) niet voidoende en 
geschikte informatie bevat om de rapportage over (onderdeien van) het betreffende object van onderzoek 
te onderbouwen. Binnen een zekere termijn na afgifte van de rapportage (in beginsei 60 dagen voor 
controie-opdrachten) mag de documentatie in het dossier worden geordend. De controiedocumentatie 
moet op het moment van afgifte van de verkiaring voidoen aan de eisen die de beroepsregeis daaraan 
steiien. Uit de vastiegging van bijvoorbeeid de opdrachtgerichte kwaiiteitsbeoordeiing biijkt in voorkomende 
gevaiien niet of specifiek is nagegaan dat aiie vereiste documentatie weiiswaar nog niet was gearchiveerd, 
maar wei tijdig beschikbaar was en in de oordeeisvorming is betrokken. Dit is achteraf dan ook niet meer 
aantoonbaar. 

j. Er is bij een meerderheid van de opdrachten sprake van gefragmenteerde dossiers. Het komt voor dat een 
‘hoofddossier' is opgenomen in de eiektronische dossieromgeving van de ADR (TeamMate), maar 
aanvuiiende informatie in e-maiis of op een netwerkschijf dan wei in hard copy-vorm wordt bewaard. 
Hiermee kan niet worden gewaarborgd dat een tijdig afgesioten, zeifstandig ieesbaar en niet voor derden 
toegankeiijk dossier ais onderbouwing van de rapportage beschikbaar is gedurende de (wetteiijk) 
voorgeschreven bewaartermijn. 


6. Bewaking en opdrachtgerichte kwaliteitsbeoordeling 


Kernbepaling 

De auditorganisatie dient gedragsiijnen en procedures vast te steiien die zijn opgezet om een redeiijke mate 
van zekerheid te verkrijgen dat de gedragsiijnen en procedures met betrekking tot het systeem van 
kwaiiteitsbeheersing reievant en adequaat zijn, effectief werken en binnen de beroepsuitoefening worden 
nageieefd. 
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In dergelijke gedragslijnen en procedures dient te worden opgenomen, dat voortdurend aandacht moet 
worden besteed aan en evaluatie moet plaatsvinden van het systeem van kwaliteitsbeheersing, en dat een 
periodieke inspectie van een selectie uit afgeronde opdrachten moet plaatsvinden. 

Een voorbeeld van de vast te stellen gedragslijnen en procedures is dat als eis wordt gesteld dat voor daarvoor 
in aanmerking komende opdrachten een opdrachtgerichte kwaliteitsbeoordeling plaatsvindt, waarin een 
objectieve evaluatie plaatsvindt van de belangrijke standpunten die het opdrachtteam heeft ingenomen en de 
eindoordelen die zijn gevormd bij het formuleren van het rapport. 


Bevindingen en observaties 

Ten aanzien van de opdrachtgerichte kwaliteitsbeoordeling (0KB) hebben wij naar aanleiding van fase I van 
ons onderzoek geconstateerd dat de volgende aspecten niet of niet toereikend in het HARo zijn geformuleerd: 

- de criteria voor het aanwijzen van opdrachten - anders dan opdrachten uit hoofde van de wettelijke taak en 
de regeling grote projecten - waarop een uitgebreide 0KB moet worden uitgevoerd, en dan met name het 
criterium ‘op basis van risico-inschatting’ 

- het opvolgen door het opdrachtteam van bevindingen uit OKB's 

- het melden en registreren van de uitkomsten van OKB’s 

- het benoemen en evalueren van opdrachtgerichte kwaliteitsbeoordelaars. 

Naar aanleiding van deze constateringen heeft de ADR inmiddels een groot aantal aanpassingen aangebracht 
in het HARo. Deze aanpassingen waren nog niet van kracht voor de opdrachten die in fase II van ons 
onderzoek zijn betrokken. 

Bij het uitvoeren van de werkzaamheden gericht op bestaan en werking van het stelsel van 
kwaliteitsbeheersing hebben wij bevindingen en observaties op opdrachtniveau die deels in lijn liggen met de 
uitkomsten van fase I. In vrijwel alle dossiers zijn tekortkomingen inzake de opdrachtgerichte 
kwaliteitsbeoordeling geconstateerd. Hieronder zijn de belangrijkste tekortkomingen samengevat. 

- De opdrachtgerichte kwaliteitsbeoordelaar is zelf betrokken bij de opdracht of afkomstig uit het cluster 
waarbinnen de opdracht wordt uitgevoerd. Hierdoor wordt de onafhankelijkheid van de beoordelaar in 
wezen en/of schijn beïnvloed 

- Vastleggingen van de inhoudelijke beoordeling van dossieronderdelen door de opdrachtgerichte 
kwaliteitsbeoordelaar ontbreken. Hierdoor is niet aantoonbaar of en zo ja hoe de kwaliteitsbeoordelaar 
significante conclusies van de auditor in zijn beoordeling heeft betrokken 

- De afwerking van opmerkingen van de opdrachtgerichte kwaliteitsbeoordelaar is niet zichtbaar in het 
dossier. Hierdoor is onduidelijk of en zo ja hoe er opvolging aan de bevindingen is gegeven en wat het 
oordeel van de kwaliteitsbeoordelaar daarover is 

- De opdrachtgerichte kwaliteitsbeoordeling wordt niet afgerond vóór of uiterlijk op de datum van de 
rapportage. Dit betreft zowel de overeenstemming die auditor en opdrachtgerichte kwaliteitsbeoordelaar 
bereiken, als datering en ondertekening van de vastlegging van de opdrachtgerichte kwaliteitsbeoordeling. 


Tabel 3: Samenvatting van de belangrijkste bevindingen en observaties 


In hoofdstuk 5 geven wij een nadere analyse van de herkomst van de bevindingen en observaties 
naar soort opdracht, gevolgd door een aantal aanbevelingen voor de opdrachtgever in hoofdstuk 6. 
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5. Analyse 

De analyse van de bevindingen is opgesteld op basis van het aantal opdrachten waarvoor de 
bevindingen en observaties, zoals genoemd in hoofdstuk 4 van dit rapport, gelden. In tabel 4 zijn de 
15 bevindingen opgenomen met de meeste waarnemingen, voorzien van een indicatie van het 
percentage van de opdrachten waarvoor de bevinding geldt. Per bevinding is daarbij aangegeven 
op welk element van het stelsel van kwaliteitsbeheersing deze bevinding betrekking heeft. 


Bevinding (onder verwijzing naar tabel 3, 
hoofdstuk 4) 

Element van 
kwaliteitsbeheersing 

Procentueel aantal 
waarnemingen 

20 40 60 80 100 

5] 

Gefragmenteerde dossiervorming 

Uitvoering van opdrachten 


6 

Bestaan en werking van meerdere 
aspecten van 0KB 

Bewaking en 0KB 


5e 

Onvoidoende ‘audit traii' 

Uitvoering van opdrachten 


2a 

Evaiuatie bedreigingen van fundamenteie 
beginseien onvoidoende aangetoond 

Beroepsethische normen 


3a 

Opdrachtvoorwaarden onvoidoende 
vastgeiegd 

Aanvaarden en voortzetten 
van opdrachten 


5g 

Controiedocumentatie voidoet niet 

Uitvoering van opdrachten 


5h 

Review niet tijdig en/of op het juiste niveau 

Uitvoering van opdrachten 


4a 

Opdrachten uitgevoerd onder grote 
tijdsdruk 

Personeeisbeieid 


5a 

Betrokkenheid eindverantwoordeiijke 
auditor biijkt onvoidoende uit dossier 

Uitvoering van opdrachten 


5b 

Kennis van de entiteit biijkt onvoidoende 
uit dossier 

Uitvoering van opdrachten 


1b 

Onvoidoende biijk van kunnen dragen van 
ongedeeide verantwoordeiijkheid 

Verantwoordeiijkheid van 
ieiding voor kwaiiteit 


5d 

Risico-identificatie en inschatting niet 

voidoende concreet 

Uitvoering van opdrachten 


5i 

Dossier niet aantoonbaar toereikend bij 
afgifte rapportage 

Uitvoering van opdrachten 


2b 

Onafhankeiijkheid niet expiiciet 
geëvaiueerd tijdens uitvoering opdracht 

Beroepsethische normen 


3c 

Besiissing over opdrachtaanvaarding op 
iager niveau in organisatie 

Aanvaarden en voortzetten 
van opdrachten 



Tabel 4: Bevindingen met de meeste waarnemingen 


In tabel 5 zijn de 15 bevindingen weergegeven met de herkomst naar discipline, voorzien van een 
indicatie van het percentage van de opdrachten per discipline waarvoor de bevinding geldt. 
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Bevinding (onder verwijzing naar 
tabel 3, hoofdstuk 4) 


Herkomst naar discipline 

Financiai audit 

IT audit 

Operationai audit 

25 50 

75 100 

25 50 75 100 

25 50 75 100 

5] 

Gefragmenteerde dossiervorming 




6 

Bestaan en werking van 
meerdere aspecten van 0KB 




5e 

Onvoidoende ‘audit traii’ 





2a 

Evaiuatie bedreigingen van 
fundamenteie beginseien 
onvoidoende aangetoond 





3a 

Opdrachtvoorwaarden 
onvoidoende vastgeiegd 





5g 

Controiedocumentatie voidoet 

niet 




5h 

Review niet tijdig en/of op het 
juiste niveau 





4a 

Opdrachten uitgevoerd onder 
grote tijdsdruk 




5a 

Betrokkenheid 

eindverantwoordeiijke auditor 
biijkt onvoidoende uit dossier 





5b 

Kennis van de entiteit biijkt 
onvoidoende uit dossier 





1b 

Onvoidoende biijk van kunnen 
dragen van ongedeeide 
verantwoordeiijkheid 





5d 

Risico-identificatie en inschatting 
niet voidoende concreet 





5i 

Dossier niet aantoonbaar 
toereikend bij afgifte rapportage 




2b 

Onafhankeiijkheid niet expiiciet 
geëvaiueerd tijdens uitvoering 
opdracht 




3c 

Besiissing over 

opdrachtaanvaarding op iager 
niveau in organisatie 





Tabel 5; Bevindingen met de meeste waarnemingen weergegeven met herkomst naar discipiine 


Uit bovenstaande tabel blijkt dat procentueel de meeste bevindingen betrekking hebben op financial 
audit opdrachten. Dit komt onder meer doordat de geselecteerde financial audit opdrachten over het 
algemeen van grotere omvang en complexiteit zijn dan de andere geselecteerde opdrachten. De 
grote verscheidenheid in werkzaamheden die de aard van een financial audit inzake bijvoorbeeld de 
wettelijke taak met zich mee brengt, geeft aanleiding tot een breder scala aan bevindingen. 
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Voorts merken wij op dat met betrekking tot bestaan en werking van de opdrachtgerichte 
kwaliteitsbeoordeling en de aanvaarding van opdrachten op een lager niveau in de organisatie de 
bevindingen in lijn liggen met de uitkomsten van ons onderzoek in fase I. De ADR heeft inmiddels 
een aantal maatregelen op deze onderwerpen aangescherpt. Deze maatregelen waren echter nog 
niet van kracht tijdens de uitvoering van de opdrachten die in onze review zijn betrokken. 

Ten slotte dient bij het interpreteren van deze tabel in aanmerking te worden genomen dat wij bij de 
uitvoering van de reviews per opdracht in een aantal gevallen andere accenten hebben gekozen. 

Dat heeft tot gevolg dat sommige bevindingen zoals opgenomen in tabel 3 van hoofdstuk 4 
gebaseerd zijn op een relatief beperkt aantal waarnemingen, terwijl deze bevindingen voor meerdere 
opdrachten in de selectie zouden kunnen gelden. Dit geldt bijvoorbeeld voor de bevindingen 
genoemd onder 5c (kennis van de IT-omgeving) en 5f (uitvoering van systeem- en gegevensgerichte 
werkzaamheden). Omdat de weergave in tabel 4 is gebaseerd op het aantal waarnemingen per 
bevinding, komen deze bevindingen niet in de tabel voor. 


6. Enkele aanbevelingen 

In dit hoofdstuk presenteren wij vijf aanbevelingen naar aanleiding van de bevindingen en 
observaties zoals weergegeven in hoofdstuk 4. De reikwijdte van onze werkzaamheden omvatte niet 
het onderzoek naar de oorzaak of oorzaken van de bevindingen. Bovendien zijn onze bevindingen 
gebaseerd op de beoordeling van onderdelen van de betreffende 16 dossiers. Om die redenen zijn 
onze aanbevelingen beperkt tot die onderwerpen waarvan wij menen dat op basis van ons 
onderzoek voldoende inzicht is verkregen om te kunnen leiden tot een concrete aanbeveling. 

Een nadere oorzaakanalyse is gewenst om te kunnen komen tot meer specifieke aanbevelingen voor 
de kwaliteitsbeheersing. 


1. Maak het HARo op enkele onderdelen specifieker 


Onze bevindingen en observaties geven aanleiding om op enkele onderwerpen het HARo specifieker te 
maken. Dit betreft: 

- instructies voor de identificatie en evaluatie van concrete afwijkingen van beroepsregelgeving voor 
sommige opdrachten die door wet- of regelgeving worden voorgeschreven en de wijze waarop daarmee bij 
de acceptatie en uitvoering van de betreffende opdrachten moet worden omgegaan 

- stringente en uniforme uitgangspunten voor regievoering, vakinhoudelijke sturing en dossiervorming met 
betrekking tot het gebruik maken van werkzaamheden die worden uitgevoerd door ‘horizontale clusters’ 

- concrete instructies of procedures voor bijvoorbeeld onafhankelijke kwaliteitsbeoordeling, dossiervorming, 
archivering en mogelijkheden voor de auditor om (bijvoorbeeld tuchtrechtelijk) verantwoording over zijn 
werkzaamheden af te leggen indien sprake is van opdrachten waarbij geclassificeerde informatie een rol 
speelt. 

Wij adviseren u om te onderzoeken hoe het HARo op deze punten zodanig kan worden aangescherpt dat 
effectieve waarborgen voor kwaliteitsbeheersing worden geboden, zonder dat sprake is van het opwerpen van 
onnodige operationele belemmeringen bij opdrachten waar dit speelt. 
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2. Meer aandacht voor de planningfase op opdrachtniveau 


De tweede aanbeveling houdt verband met het belang van een gedegen, diepgaande vaktechnische 
voorbereiding van opdrachten. Een aantal bevindingen en observaties betreft aspecten van de ‘planning’ van - 
met name, maar niet alleen - de meer omvangrijke opdrachten. Daarbij geldt dat hoe concreter bijvoorbeeld 
eventuele bedreigingen van fundamentele beginselen, risico’s op afwijkingen in verantwoordingen, 
doelstellingen van opdrachtgevers of omstandigheden waarvoor specifieke vereisten in beroepsregelgeving 
zijn opgenomen vóór aanvang van de werkzaamheden worden benoemd, hoe effectiever de werkzaamheden 
kunnen worden gepland. Uit onze bevindingen valt af te leiden dat op dit punt verbeteringen mogelijk zijn. Een 
effectieve planning leidt tot een betere waarborg dat: 

- met de uit te voeren werkzaamheden wordt voldaan aan de vaktechnische richtlijnen van de 
beroepsorganisaties van de betrokken auditors 

- wordt voldaan aan de door wet- en regelgeving gestelde eisen 

- de door de organisatie of haar voor opdrachten verantwoordelijke auditors afgegeven rapporten onder de 
gegeven omstandigheden juist zijn. 

Wij adviseren u om vanuit dit perspectief specifiek aandacht te besteden de inrichting van het planningsproces 
als onderdeel van het stelsel van kwaliteitsbeheersing. Dit betekent wel dat deze fase van de opdrachten in 
voorkomende gevallen meer tijd vergt. De ‘winst’ is echter niet alleen een meer effectieve uitvoering van de 
opdracht (de ‘juiste werkzaamheden’ worden uitgevoerd), maar naar onze overtuiging in veel gevallen ook een 
meer efficiënte uitvoering daarvan. 


3. Focus op kernvraag ‘waarom’ bij de uitvoering van werkzaamheden 


De derde aanbeveling hangt in zekere zin samen met de tweede aanbeveling die wij hiervoor formuleerden. Uit 
onze bevindingen en observaties blijkt dat bijvoorbeeld niet altijd duidelijk is waarom welke werkzaamheden 
zijn uitgevoerd, wat de werkzaamheden precies inhielden, welke keuzes zijn gemaakt en op grond van welke 
overwegingen conclusies zijn getrokken over de te bereiken doelstelling. Oorzaken hiervan hebben wij in het 
kader van onze opdracht niet onderzocht, maar de bevindingen zijn herkenbaar uit kwaliteitsreviews bij andere 
organisaties. Aanleidingen voor dergelijke bevindingen kunnen zijn: 

- een niet-effectieve planning 

- het ‘herhalen’ van werkzaamheden uit voorgaande jaren 

- standaard voorgeschreven procedures in werkprogramma’s 

- beperkte begeleiding door meer senior auditors. 

Wij adviseren u om de focus bij het uitvoeren van de werkzaamheden meer nadrukkelijk te richten op de 
beantwoording van de kernvraag ‘waarom?’ Daarmee kan worden bereikt dat de juiste werkzaamheden ook 
‘juist worden uitgevoerd’. Uit de opdrachtdocumentatie dient niet alleen te blijken waarom een werkstap wordt 
uitgevoerd, maar ook waarom de auditor van mening is dat de timing van een procedure, het aantal 
waarnemingen of tests, de bij de werkstap gebruikte informatie of technieken en de bevindingen (uitkomsten) 
een onderbouwing zijn van zijn conclusie. 
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4. Implementeer een structurele vorm van ‘mentoring’ 


Wij hebben geconstateerd dat veel opdrachtteams de gesprekken die wij met hen voerden tijdens de review 
als waardevol hebben beschouwd. Het in een kleine groep en met een afgebakende timing ‘klankborden' met 
beroepsgenoten (die niet bij de opdracht betrokken zijn) over de beroepsethische en vaktechnische aspecten 
van een concrete opdracht kan bijdragen aan het vergroten van het inzicht in de gekozen aanpak, eventuele 
knelpunten en mogelijk oplossingen. Gedurende de afgelopen jaren is ervaring opgedaan met de door de NBA 
voor een deel van de praktijk verplicht gestelde dossiermentoring. De evaluaties daarvan zijn doorgaans zeer 
positief. Wij geven u, in aanvulling op de eerste drie bevindingen, in overweging om een structurele vorm van 
dossiermentoring te implementeren voor alle tekeningsbevoegde auditors. Daarbij dienen de mentoren 
uiteraard wel aan een aantal specifieke, nader door u te formuleren eisen te voldoen. Ook dient een duidelijk 
onderscheid te worden aangebracht tussen mentoring en kwaliteitsbeoordelingen, zowel voor wat betreft het 
doel, de uitvoering als de follow up daarvan. 


5. Vergroot de parate kennis van actuele beroepsregelgeving 


In nagenoeg alle gesprekken naar aanleiding van de uitgevoerde reviews is aan de orde geweest dat uit de 
dossiers op onderdelen de naleving van actuele vaktechnische beroepsregelgeving niet zonder meer 
voldoende kan worden aangetoond. Daarbij zijn in een aantal gevallen de gedetailleerde vereisten die in 
diverse standaarden en richtlijnen aan de orde komen besproken. In samenhang met de hiervoor genoemde 
aanbevelingen verwachten wij dat een betere parate kennis van actuele beroepsregelgeving, vooral op het 
gebied van vereisten die gelden voor specifieke onderdelen van het auditproces, bij zal dragen aan de 
kwaliteit van de uitgevoerde opdrachten. Wij adviseren u om hieraan gericht aandacht te besteden in het 
opleidingsprogramma van de ADR. 


Tot slot van dit hoofdstuk merken wij graag het volgende op. Wij hebben geen opdracht gehad om 
de relatie tussen de organisatiestructuur van de ADR en opzet, bestaan en werking van het stelsel 
van kwaliteitsbeheersing te onderzoeken. Daarover kunnen wij op grond van de In dit rapport 
opgenomen bevindingen en observaties ook geen uitspraak doen. Onze bevindingen hebben In 
hoge mate betrekking op vakinhoudelijke aspecten en risico’s die de effectiviteit van het stelsel 
kunnen beïnvloeden. De randvoorwaarden voor het borgen van de kwaliteit zijn aanwezig, onder 
meer In de vorm van het HARo en de centrale vaktechnische ondersteuning. 

De leden van het MT van de ADR zorgen ervoor dat het kwaliteitsbeleid van de ADR leidt tot een 
organisatiecultuur waarin alle opdrachten worden uitgevoerd overeenkomstig de vooraf vastgestelde 
kwaliteitseisen van de ADR, zoals vastgelegd In het HARo. Naast de vijf aanbevelingen geven wij u In 
overweging om te evalueren of het opdrachtportfollo passend Is bij de Invulling van de Interne 
auditfunctle van de ADR uit het oogpunt van risicobeheersing, vakbekwaamheid en zorgvuldigheid, 
een efficiënte uitvoering van de opdrachten, voldoen aan verwachtingen van opdrachtgever en of 
deze opdrachten versterkend zijn voor de beoogde ontwikkelrichting van de ADR. 
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7. Toelichting op het onderzoek 

7.1 Inleiding 

In dit hoofdstuk geven wij een toelichting op de werkzaamheden die wij hebben uitgevoerd. Daarbij 
komen achtereenvolgens aan de orde: 

- wie de opdrachtgever is 

- wat het doel is van deze opdracht 

- de fasering van de opdracht 

- het van toepassing zijnde normenkader 

- de uitgevoerde werkzaamheden en de daarin betrokken dossiers 

- de scope en de reikwijdte van het onderzoek 

- de opbouw van de rapportage. 

7.2 Onze opdrachtgever is de algemeen directeur van ADR 

Opdrachtgever is de Staat der Nederlanden, te dezen vertegenwoordigd door de Minister van 
Financiën, namens deze de algemeen directeur van de Auditdienst Rijk, mevrouw J.M. van Zanen- 
Nieberg RA. 

7.3 Doel is om inzicht te verschaffen in het stelsel van kwaliteitsbeheersing 

Het doel van het uit te voeren onderzoek is het verschaffen van inzicht in opzet, bestaan en werking 
van het stelsel van kwaliteitsbeheersing dat door de ADR is ingericht. Daarbij richt het onderzoek 
zich op alle opdrachttypen die de ADR uitvoert. Het te verschaffen inzicht is bedoeld voor de leiding 
van de ADR en zal gebruikt worden om zowel de eigenaar van de ADR (de secretaris-generaal van 
het ministerie van Financiën) als de opdrachtgevers van de ADR en mogelijk andere partijen te 
informeren. Het doel van de opdracht is niet om met een bepaalde mate van zekerheid een oordeel 
over opzet, bestaan en/of werking van het stelsel uit te spreken. Ons onderzoek is dan ook niet 
uitgevoerd als een assurance-opdracht of een aan assurance-verwante opdracht. 

7.4 Het onderzoek is in twee fasen uitgevoerd 

Het onderzoek is opgedeeld in twee fasen, waarbij fase I is gericht op de opzet van het stelsel van 
kwaliteitsbeheersing en fase II op de werking - en daarmee tevens het bestaan - van het stelsel van 
kwaliteitsbeheersing. Reeds in een eerdere rapportage d.d. 30 maart 2015 hebben wij inzicht 
verschaft in de kwaliteit van de opzet van dit stelsel (fase I). 

Deze rapportage betreft de uitvoering van fase II. 

7.5 Als normenkader dient de beroepsregelgeving 

Als normenkader voor het onderzoek wordt uitgegaan van de regelgeving van Koninklijke NBA 
(hierna: NBA), NOREA en IIA/NL, zowel daar waar het gaat om de inrichting van het stelsel als daar 
waar het gaat om planning en uitvoering van opdrachten en het rapporteren naar aanleiding van 
deze opdrachten. Een groot deel van de regelgeving vertoont sterke overeenkomsten met elkaar 
omdat veel onderdelen hun oorsprong vinden in door de International Eederation of Accountants 
(lEAC) uitgebrachte voorschriften. In onderdeel TA2 van het HARo is een gedetailleerd overzicht 
opgenomen van de van toepassing zijnde vereisten uit de beroepsregelgeving waarop hoofdstuk A2 
(Kwaliteitsbeleid) van het HARo is gebaseerd. Daarbij wordt ook ingegaan op de specifieke 
omgevingsfactoren die een rol spelen bij de manier waarop de ADR aan deze regelgeving invulling 
geeft. 
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Regelgeving NBA 

De regelgeving van de NBA die van teepassing is ep de planning, uitveering en rappertering van 
individuele epdrachten zijn de Nadere veerschriften centrele- en everige standaarden (NV COS), de 
Verordening gedrags- en beroepsregels acceuntants (VGBA) en de Verordening inzake de 
enafhankelijkheid van acceuntants bij assurance-cpdrachten (ViO). Van de NBA-regelgeving is 
Richtlijn kwaliteitsbeheersing veer acceuntantsafdelingen (RKB1) gehanteerd als nermenkader veer 
(de inrichting van) het stelsel van kwaliteitsbeheersing. 

Regelgeving NOREA 

De regelgeving van NOREA die van teepassing is ep de planning, uitvoering en rapportering van 
individuele opdrachten betreft met name de Richtlijnen 210, 230, 3000, 3402 en 4401, naast het 
Reglement Gedragscode Register IT-auditors. Per te reviewen opdracht wordt beoordeeld in 
hoeverre overige NOREA-regelgeving van toepassing is. Plet Reglement Kwaliteitsbeheersing 
NOREA (RKBN) is gehanteerd als onderdeel van het normenkader voor (de inrichting van) het stelsel 
van kwaliteitsbeheersing. 

Regelgeving IIA/NL 

De regelgeving van IIA/NL die van toepassing is op de planning, uitvoering en rapportering van 
individuele opdrachten zijn de Internationale Standaarden voor de Beroepsuitoefening van Internal 
Auditing. Daarnaast worden de Gedragscode van het Instituut van Internal Auditors alsmede de 
zogeheten Practice Advisory’s, Position Papers en Practice Guides gehanteerd als onderdeel van het 
normenkader voor (de inrichting van) het stelsel van kwaliteitsbeheersing. 

7.6 Wij hebben een beperkte review uitgevoerd 

Ease II van het onderzoek richt zich op het bestaan en de werking van het stelsel van 
kwaliteitsbeheersing. Daartoe hebben wij in de periode april tot en met juli 2015 een beperkte review 
uitgevoerd op (onderdelen van) de dossiers die de ADR heeft ingericht voor zes controleopdrachten , 
vier opdrachten tot het verrichten van overeengekomen specifieke werkzaamheden, drie opdrachten 
met een hybride karakter (samenloop van meerdere typen opdrachten), twee niet aan assurance 
verwante opdrachten en een assurance-opdracht (anders dan een controleopdracht). In totaal zijn 
dus de dossiers van 16 opdrachten in het onderzoek betrokken. Dit betroffen negen opdrachten van 
de discipline financial audit, vier opdrachten van de discipline IT audit en drie opdrachten van de 
discipline operational audit. Van deze opdrachten hadden er zeven betrekking op de wettelijke taak, 
eveneens zeven op vraaggestuurde opdrachten en twee op Europese geldstromen. 

Deze opdrachten zijn in samenspraak met ons geselecteerd door het management van de ADR en 
vormen een representatieve afspiegeling van de aard en omvang van de opdrachten die de ADR 
uitvoert. 

7.7 Ons onderzoek heeft een beperkte reikwijdte 

Een beperkte review houdt in dat wij zeer gericht enkele onderdelen van de dossiers hebben 
beoordeeld waaruit bestaan en werking van het stelsel van kwaliteitsbeheersing zouden moeten 
blijken. 
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Dit houdt in dat wij géén onderzoek hebben gedaan om een uitspraak te kunnen doen over: 

- het algehele kwaliteitsniveau van de individuele dossiers 

- de vraag of in de betreffende situatie een passende conclusie in de rapportage is verwoord 

- de vraag of in de betreffende situatie sprake is van een volledige en betrouwbare weergave in de 
rapportage van bevindingen 

- de werking van het stelsel van kwaliteitsbeheersing voor zover dat dossier-overstijgend is 
(bijvoorbeeld personeelsbeleid, technische infrastructuur, et cetera). 

Onder ‘bestaan’ wordt in het kader van ons onderzoek verstaan: het zichtbaar in de 
opdrachtdocumentatie (dossiers) vóórkomen van de maatregelen van kwaliteitsbeheersing, zoals 
verwoord in het HARo en eventueel is vastgelegd in andere documenten. Het bestaan moet blijken 
uit vastleggingen van de toepassing van de maatregelen, al dan niet in de vorm van ‘templates’ die 
daarvoor binnen de ADR zijn ontwikkeld. 

Onder ‘werking’ wordt in het kader van ons onderzoek verstaan: het effectief uitvoeren van de 
maatregelen van kwaliteitsbeheersing, zoals verwoord in het HARo en eventueel is vastgelegd in 
andere documenten. De effectieve werking blijkt onder meer uit de vastlegging van de wijze waarop, 
door wie, wanneer en hoe de maatregelen zijn toegepast evenals uit de consistentie waarmee deze 
zijn toegepast. 

Een en ander is mede beoordeeld in de context van de aard (diversiteit en complexiteit) van de 
auditactiviteiten van de ADR. De werkzaamheden die wij in fase II van het onderzoek hebben 
uitgevoerd hebben bestaan uit: 

- het doornemen van de rapportages die naar aanleiding van de opdrachten zijn uitgebracht (‘desk 
reviews') 

- bespreking met de voor de opdracht verantwoordelijke auditor (en eventueel de betrokken 
clustermanager) van belangrijke kenmerken en onderdelen van de opdracht 

- het doornemen van (onderdelen van) de betreffende (elektronische en/of ‘hard copy’) dossiers 

- het bespreken met de voor de opdracht verantwoordelijke auditor van de bevindingen en 
observaties naar aanleiding van het doornemen van de dossiers 

- het in voorkomende gevallen raadplegen van informatie die niet in de eerder overlegde dossiers 
was opgenomen en aan ons aanvullend ter inzage is verstrekt. Deze informatie bestond onder 
meer uit: 

- dossiers met betrekking tot voorgaande jaren 

- hard copy informatie, die niet in het dossier was opgenomen 

- dossiers van horizontale teams 

- informatie opgeslagen op de ‘N-schijf, waar wij zelf geen toegang tot hadden 

- het afstemmen met de voor de opdracht verantwoordelijke auditor van de bevindingen en 
observaties, voor zover deze hebben bijgedragen aan de inhoud van onze rapportage. 

7.8 Wij rapporteren over bevindingen en observaties 

In dit rapport doen wij verslag van de uitkomsten van onze werkzaamheden. De uitkomsten van het 
onderzoek hebben wij gerubriceerd naar de zes hoofdonderwerpen zoals die zijn terug te vinden in 
onder andere Richtlijn kwaliteitsbeheersing voor accountantsafdelingen (RKB1). Deze richtlijn heeft 
een belangrijk kader gevormd voor de totstandkoming van het HARo. Zie hiervoor ook onze 
rapportage inzake fase I van ons onderzoek. 
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Hoewel wij bij het weergegeven van onze bevindingen en observaties de bronnen (individuele 
dossiers) zoveel als mogelijk hebben geanonimiseerd is het niet geheel te uit te sluiten dat 
bevindingen en/of observaties zijn te herleiden naar betrokken auditors dan wel het object van 
onderzoek. In die gevallen hebben wij echter gemeend dat de betreffende bevinding zodanig van 
belang is dat het niet vermelden tot een onjuiste interpretatie van de bevindingen in deze rapportage 
zou kunnen leiden. 


8. Afsluiting 

In deze rapportage hebben wij u geïnformeerd over de uitkomsten van fase II van het Onderzoek 
naar het kwaliteitsbeheersingssysteem ADR, gericht op het bestaan en de werking van het stelsel. 
Wij vertrouwen erop dat deze rapportage, tezamen met ons rapport over de uitkomsten van fase I 
van het onderzoek, u voldoende in staat stelt om afwegingen en keuzes te maken inzake eventuele 
vervolgstappen. Wij verwachten hiermee aan uw opdracht te hebben voldaan. 

Wij hebben met veel genoegen aan deze opdracht gewerkt en zijn uiteraard graag bereid om dit 
rapport desgewenst nader aan u toe te lichten. 
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